统计学习方法:核函数(Kernel function) | 您所在的位置:网站首页 › advanced functions学什么 › 统计学习方法:核函数(Kernel function) |
作者:桂。 时间:2017-04-26 12:17:42 链接:http://www.cnblogs.com/xingshansi/p/6767980.html 前言 之前分析的感知机、主成分分析(Principle component analysis, PCA)包括后面看的支撑向量机(Support vector machines, SVM),都有用到核函数。核函数是将信号映射到高维,而PCA一般用来降维。这里简单梳理一下核函数的知识: 1)核函数基本概念; 2)核函数的意义; 内容为自己的学习记录,其中多有参考他人,最后一并给出链接。
一、核函数基本概念 先来看看核函数的定义: 核函数:是映射关系 例如这样一个图: 二维映射到三维,区分就更容易了,这是聚类、分类常用核函数的原因。为什么PCA这样一个降维算法也用核函数呢? 左图为原数据,右图为映射到三维的数据,可以看出:同样是降到1维,先通过Kernel映射到(Kernel是映射的内积,不要弄乱了)三维,再投影到1维,就容易分离开,这就是Kernel在PCA降维中的应用,本质还是对原有数据增加维度。 既然核函数这么神奇,就看看它的来龙去脉。
二、核函数的意义 A-核函数常见应用 先来看看核函数几个常用的地方: 1.核感知机 在前面分析感知机时提到: 2.核聚类(Kernel Kmeans) 在前面分析核聚类时提到: 3.核PCA(kernel PCA) 具体定义可以参考wikipedia,根据前文分析的PCA步骤,有一步是利用相关矩阵的特征值分解,看看相关矩阵: 又看到了相乘的形式,自然可以用Kernel: 4.支撑向量机SVM 支撑向量机对偶形式的目标函数: 又看到了 B-核函数为什么可以映射到高维? 1.为什么不用映射函数 因为(x,z)一起出现的时候, 2.什么样的函数才可以叫做核函数? 直接给出条件: 具体参考:李航《统计学习方法》p120~122。 3.为什么实现数据映射到高维? 看一个例子: 这就从二维变成了三维,当然还可以更高维: 这里可以粗略理解成:多项式可以实现数据的维度扩增,而高斯核是指数形式,展开就是无穷多的多项式,所以高斯核可以将数据映射到无穷维度。 4.常用核函数 多项式核: 高斯核: 参考: 李航《统计学习方法》 |
CopyRight 2018-2019 实验室设备网 版权所有 |